三节点超融合

场景说明

超融合场景是经常使用的场景，网络架构比较简单。该场景下由一对交换机同时提供管理、业务和存储网络接入，并同时担任网关设备。两台交换机采用堆叠或者M-LAG部署。每台服务器使用6个网口（跨网卡组合成3对）分别用作管理、业务和存储，每对网口配置bond分别上联两台接入交换机。

场景拓扑

注意：图中X3表示每台服务器使用三对网卡与两台交换机互连，分别用于管理、业务、存储网络接入和网关。

image-20220907095536846

连接示例

image-20220803110637377

规划举例

请根据服务器数量、云主机数量规划IP&VLAN&VXLAN，建议预留冗余量便于扩容。

  • VLAN规划

    • 管理：2-89
    • 存储：90-99
    • 私有：100-1999（扁平网络+VPC网络）
    • 公有：2000-2999

  • VXLAN规划

    • VXLAN Pool：5000-5999

  • IP规划

    • 管理网络IP：192.168.248.0/22（4个C）
    • 存储网络IP：192.168.252.0/22（4个C）
    • 公有网络IP：172.31.0.0/20（16个C）
    • 私有网络IP：10.255.0.0/16（256个C）
  • 生成树规划
    • 此网络作为独立二层网络，并以三层模式接入现网时，建议配置为根桥；如果此网络二层接入现网，则需与网络运维工程师共同规划根桥，不可私自指定根桥，避免发生生成树抢根导致网络中断。
    • 一般情况下建议所有与服务器互连的交换机端口配置成边缘端口，可以加速生成树收敛、提高网络稳定性。

配置举例

下面以服务器bond-ab、交换机堆叠为例提供服务器网络配置和交换机配置参考。

  • 服务器管理网络配置

     zs-bond-ab -c bond0                //创建管理网卡聚合bond0
 zs-nic-to-bond -a bond0 em1        //将管理网卡em1绑定到bond0上
 zs-nic-to-bond -a bond0 em5        //将管理网卡em5绑定到bond0上，建议同一个bond中网卡型号相同
 zs-network-setting -b bond0 192.168.248.11 255.255.255.0 192.168.248.1    //配置管理IP、掩码和网关

  • 服务器业务网络配置

     zs-bond-ab -c bond1                //创建管理网卡聚合bond1
 zs-nic-to-bond -a bond1 em2        //将管理网卡em2绑定到bond1上
 zs-nic-to-bond -a bond1 em6        //将管理网卡em6绑定到bond1上，建议同一个bond中网卡型号相同

  • 服务器存储网络配置

     zs-bond-lacp -c bond2            //创建管理网卡聚合bond0
 zs-nic-to-bond -a bond0 em3        //将管理网卡em3绑定到bond2上
 zs-nic-to-bond -a bond0 em7        //将管理网卡em7绑定到bond2上，建议同一个bond中网卡型号相同
 zs-network-setting -b bond2 192.168.252.11 255.255.255.0    //配置管理IP、掩码

  • 交换机配置（以华为交换机为例，仅列出关键配置）

     ########## 统一接入交换机Leaf1A（华为CE6881-48S6CQ） ##########
 #配置交换机名称
 sysname Leaf1A
 #配置M-LAG dfs-group
 dfs-group 1
  priority 200
  source ip X.X.X.X
 #配置M-LAG peer-link
 interface Eth-Trunk0
  mode lacp-static
  trunkport 100GE 1/0/4
  trunkport 100GE 1/0/6
  peer-link 1
 #配置生成树
 stp tc-protection
 stp bpdu-protection
 stp mode rstp
 stp v-stp enable
 #配置管理VLAN
 vlan 2            
  description == Server-Management ==
 #
 interface Vlanif2
  ip address 192.168.248.254 24
  mac-address 0000-5e00-01ff
 #配置业务VLAN
 vlan batch 100 101 2000 2001
 #
 vlan 100
  description == Private-1 ==
 #
 vlan 101
  description == Private-2 ==
 #
 vlan 2000
  description == Public-1 ==
 #
 vlan 2001
  description == Public-2 ==
 #
 interface Vlanif2000
  ip address 172.31.0.254 24
  mac-address 0000-5e00-01ff
 #
 interface Vlanif2001
  ip address 172.31.1.254 24
  mac-address 0000-5e00-01ff
 #
 #配置存储VLAN
 vlan 90            
  description == Storage ==
 #配置下联服务器zstack-1管理端口
 interface Eth-Trunk1
  description == To_zstack-1_Mgmt ==
  mode lacp-static
  trunkport 10GE 1/0/1
  port link-type trunk
  undo port trunk allow-pass vlan 1
  port trunk allow-pass vlan 2
  port trunk pvid vlan 2
  stp edged-port enable
  dfs-group 1 m-lag 1
 #配置下联服务器zstack-2管理端口
 interface Eth-Trunk2
  description == To_zstack-2_Mgmt ==
  mode lacp-static
  trunkport 10GE 1/0/2
  port link-type trunk
  undo port trunk allow-pass vlan 1
  port trunk allow-pass vlan 2
  port trunk pvid vlan 2
  stp edged-port enable
  dfs-group 1 m-lag 2
 #配置下联服务器zstack-3管理端口
 interface Eth-Trunk3
  description == To_zstack-3_Mgmt ==
  mode lacp-static
  trunkport 10GE 1/0/3
  port link-type trunk
  undo port trunk allow-pass vlan 1
  port trunk allow-pass vlan 2
  port trunk pvid vlan 2
  stp edged-port enable
  dfs-group 1 m-lag 3
 #配置下联服务器zstack-1业务端口
 interface Eth-Trunk16
  description == To_zstack-1_Biz ==
  mode lacp-static
  trunkport 10GE 1/0/16
  port link-type trunk
  undo port trunk allow-pass vlan 1
  port trunk allow-pass vlan 100 101 2000 2001
  stp edged-port enable
  dfs-group 1 m-lag 16
 #配置下联服务器zstack-2业务端口
 interface Eth-Trunk17
  description == To_zstack-2_Biz ==
  mode lacp-static
  trunkport 10GE 1/0/17
  port link-type trunk
  undo port trunk allow-pass vlan 1
  port trunk allow-pass vlan 100 101 2000 2001
  stp edged-port enable
  dfs-group 1 m-lag 17
 #配置下联服务器zstack-3业务端口
 interface Eth-Trunk18
  description == To_zstack-3_Biz ==
  mode lacp-static
  trunkport 10GE 1/0/18
  port link-type trunk
  undo port trunk allow-pass vlan 1
  port trunk allow-pass vlan 100 101 2000 2001
  stp edged-port enable
  dfs-group 1 m-lag 18
 #配置下联服务器zstack-1存储端口
 interface Eth-Trunk31
  description == To_zstack-1_Stor ==
  mode lacp-static
  trunkport 10GE 1/0/31
  port link-type trunk
  undo port trunk allow-pass vlan 1
  port trunk allow-pass vlan 90
  port trunk pvid vlan 90
  stp edged-port enable
  dfs-group 1 m-lag 31
 #配置下联服务器zstack-2存储端口
 interface Eth-Trunk32
  description == To_zstack-2_Stor ==
  mode lacp-static
  trunkport 10GE 1/0/32
  port link-type trunk
  undo port trunk allow-pass vlan 1
  port trunk allow-pass vlan 90
  port trunk pvid vlan 90
  stp edged-port enable
  dfs-group 1 m-lag 32
 #配置下联服务器zstack-3存储端口
 interface Eth-Trunk33
  description == To_zstack-3_Stor ==
  mode lacp-static
  trunkport 10GE 1/0/33
  port link-type trunk
  undo port trunk allow-pass vlan 1
  port trunk allow-pass vlan 90
  port trunk pvid vlan 90
  stp edged-port enable
  dfs-group 1 m-lag 33
 #

 ########## 统一接入交换机Leaf1B（华为CE6881-48S6CQ） ##########
 #配置交换机名称
 sysname Leaf1B
 #配置M-LAG dfs-group
 dfs-group 1
  priority 100
  source ip X.X.X.X
 #配置M-LAG peer-link
 interface Eth-Trunk0
  mode lacp-static
  trunkport 100GE 1/0/4
  trunkport 100GE 1/0/6
  peer-link 1
 #配置生成树
 stp tc-protection
 stp bpdu-protection
 stp mode rstp
 stp v-stp enable
 #其他配置请参考存储接入交换机Leaf1A

results matching ""

    No results matching ""